TACO: Ternary Absolute-max Column-wise One-sparse Optimizer for LLM Fine-Tuning
TACO：面向 LLM 微调的三值绝对最大列单稀疏优化器
🧭 LLM 全参微调内存优化器
University of Central Florida · Mohammed VI Polytechnic University
用每列最大梯度符号的稀疏更新替代 AdamW 状态，优化器状态降 174 倍，单卡 H100 可全参微调 30-32B 模型
📌 工作参考价值（4 点）
- 在需要全参微调 LLM 的业务（生成式推荐、Agent 策略模型、query/文案生成）中，可用 TACO 替代 AdamW/AdamW8bit，显著降低优化器状态和峰值显存；据论文 OPT-13B 上优化器状态 27.7GB→0.16GB，峰值显存 80.6GB→27.5GB。
- 适合继续微调已用 AdamW 预训练或 SFT 过的模型：TACO 保留一阶梯度更新几何，可减少切换优化器带来的掉点，而 Muon 在 AdamW-pretrained 模型上可能退化。
- 工程落地可按层拆分：对二维权重矩阵使用 TACO，对 embedding/head 等使用 AdamW 或低内存方案；只存储每列绝对值最大梯度的符号及少量低精度分量，避免动量和二阶矩。
- 单卡 80GB H100 能全参微调 30-32B 模型，降低硬件门槛，适合资源受限团队在推荐搜索场景中训练 LLM。